18. LA VALUTAZIONE DEI RISULTATI DEL PROGETTO

18.1. INDIVIDUAZIONE DI OBIETTIVI CHIAVE E RISULTATI ATTESI.

La valutazione di un progetto formativo è strettamente legata al  monitoraggio dell’avanzamento. In effetti quest’ultimo rappresenta la base per la “valutazione in itinere” di cui abbiamo parlato nel modulo precedente. Secondo l’approccio del project management, infatti, monitoraggio & valutazione di progetto viaggiano strettamente integrati.
Si tratta ora di porre l’accento sui risultati finali del progetto formativo. Occorre precisare che tra i possibili oggetti di valutazione includiamo non solo l’attività formativa in sé, cioè la fase “Formazione”, ma, ovviamente, anche tutte le altre fasi del progetto (analisi dei bisogni di formazione, studi, progettazione intervento formativo, materiali, ecc.); il nostro scopo è infatti valutare il progetto nel suo complesso. Consideriamo inoltre come interessati da questa problematica di valutazione anche gli aspetti a valle dell’attività formativa, come ad esempio, le condizioni socio-organizzative nelle quali si inseriscono i destinatari dopo essere stati sottoposti all’azione educativa.
Un primo problema da considerare è quello delle aspettative di coloro che promuovono un’attività valutativa. I portatori di interessi generici o specifici nei confronti dell’attività aziendale (cioè i cosiddetti stakeholders) sono innanzitutto coloro che nei diversi ruoli partecipano all’articolato processo che va dall’analisi dei bisogni alla misurazione dei risultati di performance: gli analisti organizzativi, i progettisti di formazione, gli organizzatori e gestori della formazione, i formatori, i valutatori stessi (naturalmente qui si parla di ruoli e non di persone; ciò quindi non esclude che più ruoli possano coesistere nella stessa persona (in progetti di medie dimensioni è possibile che il formatore sia per esempio progettista,  gestore e valutatore al tempo stesso).
Abbiamo poi l’alta direzione - che per convenzione immagineremo come l’interprete dell’interesse più ampio dell’organizzazione - e qualsiasi altra entità che assuma il ruolo di committente. 
Altri stakeholders della valutazione sono i destinatari dell’attività formativa e i fruitori indiretti, come ad esempio i capi dei destinatari, i loro colleghi o i loro collaboratori. E la lista potrebbe allungarsi, perché potremmo aggiungere i ricercatori sociali e gli esperti di valutazione, i teorici dei problemi dell’apprendimento, le istituzioni esterne che si occupano di formazione e altri ancora.
Se proviamo ad identificare le specifiche aspettative che gli stakeholders aziendali interni (escludiamo per semplicità quelli esterni) hanno nei confronti della valutazione, avremo una lista piuttosto differenziata di domande alle quali, in funzione del ruolo ricoperto, ciascuno di costoro può volere rispondere attraverso la valutazione:

 L’analista dei bisogni di formazione: “Ho identificato correttamente i bisogni? Li ho tradotti in obiettivi formativi coerenti, concreti, perseguibili? Ho individuato i giusti destinatari?”

 Il progettista della formazione: “Ho interpretato e specificato adeguatamente gli obiettivi di formazione? Ho concepito un programma idoneo a perseguirli? Ho scelto in modo soddisfacente le risorse professionali e tecniche più idonee a realizzare l’attività?

 Il formatore: “Ho comunicato in modo efficace? Ho scelto lo stile didattico giusto? Ho trasferito i messaggi previsti?”.	

 Il top management: “I bisogni di formazione sono stati definiti in modo coerente con le esigenze strategiche dell’impresa? I risultati attesi sono stati ottenuti? Il rapporto benefici-costi è soddisfacente?

 Il destinatario dell’attività: “Ho investito proficuamente il mio tempo? ho appreso ciò che personalmente mi serve? ciò che ho appreso è utilizzabile nell’attuale mia collocazione organizzativa? e in una eventuale futura?”

 Il fruitore indiretto (ad esempio, il capo del destinatario): “Ho speso bene il tempo del mio collaboratore, se confrontato con i risultati ottenuti? le competenze da lui acquisite migliorano effettivamente la performance della mia unità? quali sono i rischi del non potere utilizzare tali competenze?”

Una gamma di attese così differenziata può essere ridotta a due ampie categorie, rispettivamente caratterizzate da un orientamento alla verifica del processo o alla verifica dei risultati.
Al processo di formazione sono ovviamente più interessati coloro che hanno la responsabilità di progettare, organizzare ed erogare l’attività formativa; ai risultati coloro che la utilizzano (i destinatari, i fruitori indiretti, i committenti). Tale semplificazione, però, non produce alcun beneficio se non a livello della sistematizzazione concettuale. È chiaro infatti che, ad esempio, coloro che si attendono dalla valutazione una risposta a un bisogno di verifica degli effetti prodotti dalla formazione concepiscono i “risultati” in modo del tutto eterogeneo.
Un beneficio per l’intera organizzazione potrà infatti comportare solo un costo per una sua parte; un arricchimento professionale potrà essere inutile a livello di sottosistema o sistema organizzativo, e così via.
Non è nostra intenzione in questa sede stabilire una maggiore o minore legittimità o un ordine di priorità delle aspettative dei diversi attori: questo è un tema che attiene alla natura della formazione realizzata, al suo livello di “apparenza”. Qui ci interessa invece proporre un primo contributo di chiarificazione al problema della valutazione:  è improbabile concepire un sistema e un metodo valutativo efficaci (pur prescindendo dalle difficoltà derivanti dai limiti delle tecnologie di valutazione disponibili) se non si restringe il campo delle domande alle quali si vuole rispondere, o, in altri termini, se non si definiscono gli obiettivi della valutazione. La definizione degli obiettivi è un presupposto indispensabile per la concezione e la costruzione di un sistema valutativo coerente e focalizzato.
La valutazione della formazione, in funzione degli obiettivi specifici prescelti, può presentare livelli estremamente eterogenei di complessità (e ciò sempre prescindendo dal problema della disponibilità di tecnologie e strumenti di valutazione).
Prendiamo ad esempio due casi molto diversi di obiettivi e meccanismi valutativi:

1. Il top management di un’azienda, a fronte di un crescente aumento dei tempi e dei costi di sviluppo dei prodotti, ha promosso un’attività di analisi che ha portato alla realizzazione di un intervento formativo sui project managers. A conclusione dell’intervento ha richiesto la misurazione delle eventuali riduzioni nei tempi e nei costi di sviluppo dei prodotti, proponendosi in tal modo di ottenere anche informazioni sull’efficacia dell’azione formativa.

2. In un’azienda che vende beni di largo consumo distribuiti attraverso dettaglianti, i venditori, poco dopo l’assunzione, sono sottoposti a un programma sulle tecniche di vendita. Il responsabile del programma si pone il problema di misurare l’efficacia di due metodologie didattiche alternative. Decide quindi di realizzare alcune edizioni del programma dividendo ciascun gruppo in due sottogruppi addestrati ciascuno con una metodologia diversa. Alla fine del corso sottopone ciascun sottogruppo ad alcuni test sperimentali di abilità argomentativa, allo scopo di valutare comparativamente i due metodi utilizzati.

In entrambi i casi si fa seguire al programma di formazione una valutazione, ma questa è l’unica similarità tra le due situazioni. Diversi sono infatti nei due casi sia i promotori della valutazione (un utente nel primo caso; un fornitore nel secondo), sia gli oggetti della valutazione (i risultati di performance nel primo caso, un componente del dispositivo di formazione nel secondo), sia gli obiettivi della valutazione (la formazione è valutata in quanto mezzo per raggiungere obiettivi di performance, nel primo caso; la valutazione del diverso livello di apprendimento è un mezzo per validare una scelta formativa, la formazione è il fine nel secondo caso). Ma ciò che differenzia i due casi è il grado di distanza tra i termini della relazione presa in esame nelle due situazioni valutative.
Nel primo caso il meccanismo valutativo implica un confronto tra obiettivi di performance e risultati di performance. Supponiamo che il risultato di performance non sia quello atteso (in tutto o in parte, non importa). Quali conclusioni si possono trarre rispetto alle attività di formazione svolta? Poche o forse nessuna. Infatti, in questo progetto sono implicitamente formulate una serie di ipotesi che attraverso un tale sistema valutativo non sono verificabili, e cioè:

 Che i tempi e i costi siano in senso generale contenibili attraverso investimenti educativi
 Che la popolazione critica sia quella dei project managers
 Che le abilità da generare o da incrementare siano (in qualità e quantità) quelle correttamente definite come obiettivo dell’attività formativa.
 Che tali abilità siano realmente incrementabili o generabili attraverso un intervento formativo (ossia che esista un potenziale di sviluppo nella popolazione identificata).
 Che il programma progettato sia coerente con gli obiettivi formativi assegnati.
 Che l’erogazione del programma sia avvenuta nel modo prescritto nel progetto.
 Che i destinatari abbiano effettivamente acquisito nuove abilità e abbiano migliorato quelle di cui erano in possesso.
 Che alla fine del programma i destinatari si siano trovati in una condizione operativa favorevole all’utilizzo delle nuove competenze (in termini di vincoli esterni, meccanismi organizzativi, cooperazione interpersonale, motivazione personale, ecc.)

In una condizione di insuccesso, non si potrebbe che registrarlo senza tuttavia poter determinare attraverso un tale sistema valutazione quale (o quali) delle condizioni necessarie per il successo non si è verificata e quindi senza poter utilizzare la valutazione come una fonte di informazioni per la decisione su successivi interventi. Basterebbe infatti che solo una delle ipotesi formulate all’inizio non sia corretta, perché l’intervento formativo sia destinato all’insuccesso. Questo è definito tecnicamente come problema di “isolamento delle variabili”.
Nel secondo caso, invece, non vi sono ipotesi implicite che si frappongono tra i termini della relazione (metodo utilizzato e livello di apprendimento).
Pertanto in una situazione di questo tipo è possibile identificare in modo affidabile il rapporto esistente tra metodi e apprendimento, verificare cioè il nesso di causa ed effetto tra loro esistente. È peraltro evidente che questo tipo di valutazione è, rispetto al primo caso, molto più circoscritta, i suoi risultati non contribuiscono che in modo limitato a dare risposta alle domande sull’opportunità di interventi e progetti formativi  e sui relativi benefici ottenuti.
Il principio di base che deve guidare la scelta delle modalità valutative di un progetto formativo è che, qualunque metodo si scelga, chi promuove e gestisce un’attività di valutazione deve innanzitutto aver chiari opportunità e limiti della scelta operata. Questa consapevolezza è la condizione essenziale perché non si traggano dai risultati della valutazione conclusioni temerarie. È frequente infatti sentire da parte di operatori aziendali giudizi di inutilità della formazione semplicemente perché alla misurazione di risultati di performance si attribuiscono poteri esplicativi sull’efficacia dell’attività educativa svolta.

18.2. PARAMETRI DI VALUTAZIONE

Quando obiettivo della valutazione è misurare l’impatto di un’attività formativa su un sistema o sottosistema organizzativo, un modo per ridurre in concreto la complessità e per mantenere un soddisfacente e ragionevole livello di analiticità è quello di partire da una valutazione della formazione in sé, ossia dei cambiamenti diretti da essa prodotti.
La valutazione della formazione in sé non può che riguardare i cambiamenti intervenuti, la formazione deve essere valutata non in termini assoluti, ma relativi, per il valore di variazione nel possesso di uno o più requisiti che essa riesce a produrre. In altri termini non è indifferente il livello di partenza posseduto dall’individuo o dal gruppo destinatario dell’azione formativa. Ciò pertanto comporta il fatto che una condizione indispensabile per la misurazione di cambiamenti sia la chiara consapevolezza delle caratteristiche della popolazione a cui l’intervento è destinato. Ciò sembra evidente e superfluo da precisare, ma nella pratica è frequente osservare casi di attività formative, in cui i destinatari sono relativamente “sconosciuti” e prima delle quali non si compie alcun tentativo di pre-valutazione delle loro conoscenze, abilità, atteggiamenti, ecc.
Abbiamo detto inoltre che in questo approccio la valutazione va concentrata sui cambiamenti diretti, ossia sui cambiamenti che definiamo di apprendimento. Secondo una classificazione diffusa in letteratura, la formazione può agire a quattro livelli:
 Reazione: ossia il gradimento dei destinatari della formazione nei confronti del programma
 Apprendimento: ossia l’acquisizione di conoscenze (sapere), capacità (saper fare), atteggiamenti (saper essere).
 Comportamento: ossia l’esercizio effettivo di conoscenze, capacità e atteggiamenti.
 Risultati: ossia il conseguimento di effetti desiderati di performance come conseguenza dell’assunzione di comportamenti.

In merito alla “reazione”, occorre precisare che essa non è una dimensione significativa (anche se la più indagata nei sistemi di valutazione correnti) in quanto non fornisce che modeste indicazioni sul perseguimento di obiettivi di cambiamento.
Per quanto riguarda le variazioni di comportamento, si può dire che nessuna azione educativa modifica in modo diretti il comportamento, ma al meglio, crea alcune condizioni - o rimuove alcuni ostacoli - perché vengano adottati certi comportamenti. L’adozione di comportamenti desiderati però dipenderà anche da altre variabili non influenzate dall’attività formativa (come, ad esempio, la situazione nell’ambiente di lavoro, gli atteggiamenti e i comportamenti di altri, le norme organizzative, i sistemi di ricompensa aziendali, ecc.)
Le variazioni sui risultati costituiscono, infine, una conseguenza possibile dell’azione formativa, ma di natura ancora più indiretta che le variazioni di comportamento. Pertanto un’attività valutativa che voglia ridurre al minimo il campo d’incertezza sul significato delle sue conclusioni non può che concentrarsi inizialmente sui cambiamenti intervenuti nell’apprendimento, in quanto direttamente collegati all’azione/progetto formativo. 

Lettura di approfondimento-R.D. Archibald-Project Management. da pag. 290 a pag. 302
da pag. 314 a pag. 316.

V. Masoni-M & V, F.Angeli ,1997. da pag. 55 a pag. 66

18.3. CONCLUSIONI

Il progetto formativo presenta indubbiamente delle peculiarità essendo caratterizzato dall’erogazione di un servizio piuttosto che dalla produzione di un prodotto tangibile. Questa caratteristica contribuisce a rendere difficilmente parametrabile il progetto a livello di tempi, costi e qualità.
Attraverso il project management, che riconduce la progettazione, la gestione e la valutazione di un’iniziativa formativa ad un approccio sistematico, è possibile presidiare in maniera congrua lo stesso progetto di formazione, è possibile cioè applicare alcuni modelli e metodologie di gestione che favoriscono il cosiddetto “apprendimento dall’esperienza”. L’utilità di una visione unitaria nella gestione di un progetto formativo è proprio quella di consentire l’applicazione di questa visione o modello ad altri progetti, con gli opportuni adattamenti del caso; fare ricorso alle schematizzazioni ricorrenti consente di costruire una memoria storica aziendale che potrà essere utilizzata nella fase di pianificazione, gestione e valutazione dei progetti successivi. Si tratta cioè di valorizzare un apprendimento intelligente dell’esperienza fatta, dove per “ apprendimento intelligente” si intende la capacità di riconoscere l’unicità di ciascun progetto all’interno però di un approccio metodologico generale.
Tale approccio metodologico si basa su tre parametri fondamentali che caratterizzano tutte le fasi del ciclo di progetto (Definizione, Organizzazione, Implementazione, Conclusione): qualità, costi e tempi.
A proposito della fase di valutazione di un progetto occorre sottolineare che essa deve essere svolta in itinere (e in questo senso risulta perfettamente complementare ed integrata al monitoraggio e controllo) sia a conclusione del progetto (valutazione post-completamento), ove si traggono spunti di apprendimento allo scopo di migliorare i futuri interventi.  

A conclusione del progetto possono darsi alcune linee guida, diremmo meglio suggerimenti per il project manager. Essi riguardano alcune strategie che il formatore dovrebbe adottare per rendere ricettiva e reattiva la sua presenza all’interno dell’Associazione in cui opera e presso le aziende ad essa associate o - in altre parole - per costruire attorno alla propria attività un clima di attenzione ed interesse che gli consenta di rendere sempre più ricco ed interessante il “portafoglio clienti” ed efficaci e soddisfacenti i progetti formativi.

	Apprendere dall’esperienza: attraverso alcuni interrogativi/riflessioni sui clienti, il progetto formativo, la fase di erogazione, le risorse umane, l’Ente di appartenenza che permettano di valorizzare in maniera autentica l’esperienza.

	Mantenere vivo il rapporto con clienti e fornitori: un’esperienza che interessa, in forma talora assai coinvolgente sul piano umano oltre che organizzativo, diversi soggetti come quella formativa, non può essere troncata nel momento in cui si conclude. In effetti, mantenere un dialogo proficuo con i soggetti coinvolti è la condicio sine qua non per chiudere in modo virtuoso il cerchio del processo di produzione del progetto formativo. Sulla base di tali presupposti, infatti, il formatore è in grado di ripercorrere, in vista di nuovi progetti, tutto l’iter descritto in forma più agevole (sfruttando la già citata “memoria storica”): il dialogo con i clienti ed i fornitori è già avvenuto, si tratta solo di proseguirlo e renderlo sempre più proficuo.

ESERCIZIO 18.1. VERIFICA DEI PROGRESSI

Rispondete alle seguenti domande relative alla valutazione dei risultati del progetto formativo

1) In che senso la valutazione viaggia integrata al monitoraggio di un progetto?
_________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

2) Date una definizione di stakeholders
_________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

3) Quali sono gli stakeholders interessati ai risultati del processo formativo?
_________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

4) Quali potrebbero essere le “domande tipo di valutazione” per i diversi stakeholders?
_________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

5) Qual è la condizione necessaria per ottenere un sistema di valutazione efficace di un progetto di formazione?
_________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

6) La formazione può agire a quattro livelli: quali sono?
_________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

7) Cosa significa “apprendere intelligentemente dall’esperienza”?
_________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

8) Quali sono i due suggerimenti cardine che il progettista è bene che segua una volta conclusosi il progetto?
_________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

ESERCIZIO 18.2. VERIFICA DELLE LETTURE DI R.D.ARCHIBALD (da pag. 290 a pag. 301, da pag. 314 a pag. 316)

1) Quali sono gli obiettivi della valutazione integrata di progetto?
_________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

2) Il processo di valutazione del progetto è un processo a tre fasi, ripetute a intervalli periodici. Quali sono?
_________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

3) Quali sono i vantaggi e i limiti delle osservazioni dirette?
_________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

4) Quali sono le ragioni che rendono spesso di scarsa efficacia lo strumento dei “rapporti orali e scritti”?
_________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

5) Quali sono i vantaggi delle “presentazioni grafiche”?
_________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

6) E i limiti? 
_________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

7) Quali sono gli obiettivi e le condizioni di efficacia delle “riunioni di valutazione del progetto”?
_________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

8) Cos’è il “centro di controllo” del progetto?
_________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

9) Quali obiettivi persegue la valutazione post-completamento del progetto?
_________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

10) Elencare i punti (6) che compongono la procedura generale della valutazione post-completamento del progetto.
______________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

ESERCIZIO 18.3. VERIFICA DELLA LETTURA DI V.MASONI (da pag. 55 a pag. 66)

1) Definire il “monitoraggio”
_________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

2) Il monitoraggio comprende fondamentalmente quattro operazioni: elencarle.
_________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

3) Quali sono i 4 livelli di monitoraggio?
_________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

4) Qual’è la definizione di valutazione secondo Sang?
_________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

5) Il valutatore effettua sette operazioni, partendo dai dati ottenuti dall’attività di monitoraggio. Quali sono queste operazioni?
___________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________

6) Vi sono quattro tipologie di valutazione di progetto legate al ciclo del progetto stesso. Quali sono ?
_________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________________